Multilevel analyse

class: center, middle, inverse, title-slide

# Multilevel analyse
## <div class="line-block">Metode 3<br />
<a href="https://soerendamsbo.github.io/m3/m3-4_multilevel-analyse.html">.white[Link til slides: kortlink.dk/2acds]</a></div>
### Søren Damsbo-Svendsen<br><a href="mailto:sdas@ifs.ku.dk">.white[sdas@ifs.ku.dk]</a>
### Institut for Statskundskab<br>Københavns Universitet
### Uge 11

---

# Oversigt

<table style="line-height: 100%; font-size: 16px; margin-left: auto; margin-right: auto;" class="table table-striped table-hover table-condensed table-responsive">
 <thead>
  <tr>
   <th style="text-align:center;"> Uge </th>
   <th style="text-align:center;"> Holdtime </th>
   <th style="text-align:left;"> Emne </th>
   <th style="text-align:center;"> Øvelsesopgave </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:center;"> 6 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Kvantitativ indholdsanalyse </td>
   <td style="text-align:center;"> 1 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 7 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Diskursanalyse I </td>
   <td style="text-align:center;"> 2 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 8 </td>
   <td style="text-align:center;"> 25-26 februar 2021 </td>
   <td style="text-align:left;"> Diskursanalyse II </td>
   <td style="text-align:center;"> 3 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 9 </td>
   <td style="text-align:center;"> 04-05 marts 2021 </td>
   <td style="text-align:left;"> Interaktioner og modelspecifikation </td>
   <td style="text-align:center;"> 4 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 10 </td>
   <td style="text-align:center;"> 11-12 marts 2021 </td>
   <td style="text-align:left;"> Logistisk regression </td>
   <td style="text-align:center;"> 5 </td>
  </tr>
  <tr>
   <td style="text-align:center;font-weight: bold;color: white !important;background-color: #8b2325 !important;"> 11 </td>
   <td style="text-align:center;font-weight: bold;color: white !important;background-color: #8b2325 !important;"> 18-19 marts 2021 </td>
   <td style="text-align:left;font-weight: bold;color: white !important;background-color: #8b2325 !important;"> Multilevel analyse </td>
   <td style="text-align:center;font-weight: bold;color: white !important;background-color: #8b2325 !important;"> 6 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 12 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Kausal inferens I: Kausalitet og instrumentvariable (IV) </td>
   <td style="text-align:center;"> 7 </td>
  </tr>
  <tr>
   <td style="text-align:center;color: grey !important;"> 13 </td>
   <td style="text-align:center;color: grey !important;">  </td>
   <td style="text-align:left;color: grey !important;"> Påskeferie </td>
   <td style="text-align:center;color: grey !important;">  </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 14 </td>
   <td style="text-align:center;"> 08-09 april 2021 </td>
   <td style="text-align:left;"> Kausal inferens II: Paneldata </td>
   <td style="text-align:center;"> 8 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 15 </td>
   <td style="text-align:center;"> 15-16 april 2021 </td>
   <td style="text-align:left;"> Kausal inferens III: Eksperimentelle designs </td>
   <td style="text-align:center;"> 9 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 16 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Kausal inferens IIII: Regression Discontinuity (RD) </td>
   <td style="text-align:center;"> 10 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 17 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Social Data Science: Big Data </td>
   <td style="text-align:center;"> 11 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 18 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Process tracing </td>
   <td style="text-align:center;"> 12 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 19 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Kriterier for god videnskab </td>
   <td style="text-align:center;">  </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 20 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Opsamling/spørgetime </td>
   <td style="text-align:center;">  </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 23 </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:left;"> Aflevering af skriftlig hjemmeopgave (07 juni 2021) </td>
   <td style="text-align:center;">  </td>
  </tr>
</tbody>
</table>

---

# Recap fra sidste gang

- Vi bruger **logistisk regression** i stedet for OLS, **når Y er binær**, pga. OLS' problemer med funktionel form (linearitet), fejlled, absurde sandsynligheder mv.

- I logistisk regression er der ikke bare én effekt af X &rarr; Y (afhænger af, hvor på X-aksen, vi står)

- **Beta-koefficienterne** angiver effekten af at X vokser med +1 på *den naturlige logaritme til oddset* for, at Y=1
    - umuligt at forstå intuitivt og **odds ratio** gør det ikke meget bedre
    
- Vi fortolker vha. tricks
    - **Average Marginal Effect** (AME): alle marginale effekter opsummeret i et gennemsnit
    - **Marginal Effect at the Mean** (MEM): marginal effekt ved gennemsnittet af X
    - **Forudsagte sandsynligheder** (S-kurven): sandsynligheden for Y=1 for alle niveauer af X

---

# Dagens program

- **Multilevel-analyse** &rarr; nyt emne!

- Hvad er det, hvornår og hvorfor bruger vi det?

- Hvordan udfører vi multilevel-analyse i **Stata** og fortolker output?
    - Eksempler fra Mehmetoglu & Jakobsen (2016)

- **Øvelsesopgaver** i Stata

---

# Dagens formål

- At få **bedre forståelse** for multilevel-analyse
    - hvilke spørgsmål det besvarer
    - hvilke problemer det afhjælper
    - hvilke muligheder det giver

- At træne **udførelse og fortolkning** i Stata

---

# Pensum

Hox, J. J. (2010). *Multilevel analysis: techniques and applications* (2. edition). Routledge. Kapitel 1

Mehmetoglu, M., & Jakobsen, T. G. (2016). *Applied statistics using Stata: a guide for the social sciences*. Sage. Kapitel 9

---

# Hvad er multilevel-analyse?

<br>Vi kan se på det som endnu en **udvidelse af OLS**:

> "Multilevel analysis can be seen as a generalization of OLS regression to accommodate the complexities of estimating regression models with two or more levels" .right[(Mehmetoglu & Jakobsen, 2016, p. 197)]

**Multilevel research**

> "The general concept is that **individuals interact with the social contexts** to which they belong, that individual persons are inﬂuenced by the social groups or contexts to which they belong, and that those groups are in turn inﬂuenced by the individuals who make up that group. The individuals and the social groups are conceptualized as a **hierarchical system of individuals nested within groups**, with individuals and groups defined at **separate levels** of this hierarchical system [...] This leads to research into the **relationships between variables characterizing individuals and variables characterizing groups**, a kind of research that is generally referred to as **multilevel research**" .right[(Hox, 2010, p. 1)]

---

# Hvorfor multilevel-analyse?

- Når vores data har en hierarkisk struktur, giver det både problemer og muligheder

- **Metodemæssige grund: Statistisk og kausal inferens**

- Vi vil gerne have **korrekte standardfejl** (usikkerhed), så vi ikke får for høje/lave **p-værdier** og drager forkerte konklusioner
    
    - Vi vil gerne kontrollere for variable på gruppeniveau, der både påvirker X og Y (på niveau 1), for at undgå *omitted variable bias* (spuriøsitet)

- **Substantiel/teoretisk grund: Viden om multilevel-dynamikker og konteksteffekter**

- Vi kan være substantielt interesserede i konteksteffekter, herunder
        - direkte effekt af niveau 2-variabel (X) på niveau 1-variabel (Y) 
        - cross-level interaktioner (*hvordan konteksten betinger niveau 1-effekter*)
    
    - Vi kan altså arbejde med multilevel-spørgsmål/-hypoteser/-problemer

---

# Begreber

- **Niveauer** (levels)
    - niveau 1 = det "laveste" niveau ≈ individniveau
    - niveau 2 = gruppeniveau = klynger = noget der *indeholder* niveau 1-observationer ≈ landeniveau
    
- **Multilevel-analyse** = multilevel-model = multilevel-regression ≈ linear mixed (effects) model

- **Intercept** = Y intercept =  konstant = `$\beta_0$` = `$\alpha$`
    - **varying intercept** = random intercept ≈ forskellige gruppe-gennemsnit

- **Slope** = hældning = effekt = (beta)koefficient = `$\beta_1$`    
    - **varying slope** = random effect (RE) = random coefficient ≈ forskellige effekter på tværs af grupper
	
- **Fixed effect (FE)** = "almindelige effekter" = én effekt gældende for hele datasættet ≠ RE

---

# Spørgsmål

- Break-out i 10 min.

- Diskuter så mange spørgsmål som muligt

- Bagefter hører vi svar fra **gruppe 1/6 på spgm. 1**, fra **gruppe 2/7 på spgm. 2**, fra **gruppe 3/8 på spgm. 3**, fra **gruppe 4/9 på spgm. 4** og fra **gruppe 5/10 på spgm. 5**

***

1. Hvad er et multilevel-problem? Giv et opfundet eksempel på et ML-problem eller en ML-hypotese (se evt. Hox, 2010, pp. 6-7)

2. Hvordan adskiller multilevel-analyse sig fra almindelig regression? (behøver ikke være teknisk)

3. Giv et par eksempler på data med multilevel-struktur

4. Hvad menes der med "aggregering" og "disaggregering"? (se evt. Hox, 2010, pp. 2-4)

5. Hvad er *det statistiske problem* ved at aggregere hhv. disaggregere data? Hvad sker der med *N*? (se evt. Hox, 2010, p. 3)

???

"A multilevel problem is a problem that concerns the relationships between variables that are measured at a number of different hierarchical levels" (Hox, 2010, p. 4)

At flytte variable mellem niveauer:

**Aggregering**: "variables at a lower level are moved to a higher level, for instance by assigning to the schools the school mean of the pupils’ intelligence scores"

**Disaggregering**: "moving variables to a lower level, for instance by assigning to all pupils in the schools a variable that indicates the denomination of the school they belong to"

Problem: Enten blæser man antallet af (uafhængige) observationer kunstigt op (*disaggregering*) eller også smider man en masse information væk (*aggregering*) &rarr; kunstigt høje/lave p-værdier &rarr; **fejlagtig inferens**

Pas derudover på med at **analysere data på ét niveau og drage konklusioner på et andet**
    - kan fx lede til "ecological fallacy", "atomistic fallacy" og "Simpson's paradoks"
    
---

# Multilevel-regression

Multilevel-modellen begynder med at opdele **variansen i den afhængige variabel** på de to niveauer

- **Variansen i den afhængige variabel** er et (standard)mål for spredningen eller afvigelserne *rundt om variablens gennemsnit*
    
--

- Variansen opdeles i:
    - (1) spredningen **inden for hver gruppe** rundt om *gruppens gennemsnit* (lagt sammen)  
    - (2) spredningen **mellem grupperne**, dvs. gruppegennemsnittenes spredning om *det samlede gennemsnit*

- Denne opdeling kan ses i **Null-modellen** uden uafhængige variable (vi ser det om lidt)

- Matematisk ser det således ud:
    - `$Y_{ij} = \beta_0 + u_{0j} + e_{ij}$`
    - `$dependent\_variable = total\_mean + error\_term\_level\_2 + error\_term\_level\_1$`
    
---

# Multilevel-regression

**Bottom line**

- Takket være variansopdelingstricket, kan vi inddrage uafhængige variable fra begge niveauer
    
    - fx `$\beta_1 X_{1ij}$` (niveau 1) og `$\beta_2 X_{2j}$` (niveau 2)
    
- Vær opmærksomme på **antal variable ift. antal observationer** på niveau 2
    - tommelfingerregel\* om min. **10 obs.** per uafhængig variabel

- Multilevel-modellen bruger automatisk det korrekte *N* for hvert niveau til at beregne usikkerheder og p-værdier

???

*Tommelreglen kommer fra Mehmetoglu & Jakobsen (2016), s. 206, og er et absolut minimum. Det kan i nogle tilfælde være nødvendigt at anlægge 0.10 signifikansniveau i stedet for 0.05, når man analyser effekten af niveau 2-variable.

---
class: title-slide, center, middle

# Stata, fremgangsmåde og eksempler

---

# Multilevel-analyse i Stata

> **mixed   Y_lvl1 || ID_lvl2:** (*Null-model*)

> **mixed   Y_lvl1   X1_lvl1   X2_lvl1   X3_lvl1   X4_lvl2   X5_lvl2   ||   ID_lvl2:**

- **ID_lvl2** er en variabel, der identificerer grupperne (fx *landenavn*). Husk kolon i enden

- **_lvl1** og **_lvl2** indikerer, hvilket niveau variablen hører til i eksemplet (Stata finder selv ud af dette)

- Eventuelle *varying slopes* tilføjes efter **ID_lvl2:**

**Options**

- "**ml variance**" specificerer, at modellen skal fittes med *maximum likelihood estimation*, og at vi vil se *opdelingen af variansen*. **Begge er standard** og derfor ikke nødvendige

- Hvis modellen inkluderer *varying slopes*, anbefaler Mehmetoglu & Jakobsen at tilføje **cov(unstructured)**, så modellen bliver uafhængig af variabel-skala (2016, p. 212)

---

# Fremgangsmåde

**Formål**

- Vi vil gerne estimere effekten af en eller flere **uafhængige variable (X) på niveau 2** på en **afhængig variabel (Y) på niveau 1**         
    - foruden effekten af evt. uafhængige variable (X) på niveau 1

- Vi er interesserede i **indflydelsen fra konteksten (niveau 2)**, fordi vores teori, problemformulering og/eller hypoteser tilsiger dette

---

# Fremgangsmåde

**Seks trin**

1. Lav tom ("Null") model, der alene skelner mellem niveauerne

2. Tilføj uafhængige **niveau 1**-variable

3. Tilføj uafhængige **niveau 2**-variable

4. Tilføj evt. **varying slopes** (random effects) for uafhængige niveau 1-variable

5. Tilføj evt. **interaktion** - enten på samme niveau eller *cross-level*

6. **Fortolk** på helheden med fokus på de "fulde" modeller

---

# 1. Lav tom ("Null") model

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

.left-column[

**mixed political_trust || country:**

Giver os bl.a. **antal obs.** (*N*) per niveau og den **gennemsnitlige tillid** (*_cons*)

Desuden **opdelingen af den uforklarede varians i tillid** på gruppeniveau, *var(_cons)*, og individniveau,  *var(Residual)*

]

.right-column[

]

---

# 1. Lav tom ("Null") model

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

.left-column[

Hvor stor en andel af den samlede varians i tillid tilskrives **gruppeniveauet** (hvor stor er VPC/ICC)?

`$\frac{11.9}{11.9+35.8}$`

*Tommelfingerregel*:<br>Min. 5 % før niveau 2 er relevant

Kan det betale sig at fortsætte med en multilevel-model?

]

.right-column[

]

???

VPC/ICC ≈ 24.9 %

Kan også findes med *estat icc*

---

# 2. Tilføj uafhængige niveau 1-variable

.left-column[

**mixed political_trust woman age unemployed eduyrs || country:**

Påvirker uddannelse (X4) politisk tillid (Y)?

Er den uforklarede varians i tillid faldet? Markant?

]

.right-column[

]

???

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

---

# 2. Tilføj uafhængige niveau 1-variable

.left-column[

Påvirker uddannelse (X4) politisk tillid (Y)?

*Ja (p=0.000). For hvert år vokser tilliden med 0.09*

Er den uforklarede varians i tillid faldet? Markant?

*Faldet marginalt, men stort set uændret. De nye variable (den nye model) har således ikke megen forklaringskraft*

]

.right-column[

]

???

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

---

# 3. Tilføj uafhængige niveau 2-variable

.left-column[

**mixed political_trust woman age unemployed eduyrs GDPcapita1000 || country:**

Påvirker uddannelse (X4) stadig politisk tillid (Y)?

Hvad kan vi sige om **effekten af BNP** (X5)?

Er den uforklarede varians i tillid faldet denne gang? Markant?

]

.right-column[

]

???

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

---

# 3. Tilføj uafhængige niveau 2-variable

.left-column[

Effekten af uddannelse (X4) er praktisk talt uændret: `$\beta ≈ 0.09$`

Når BNP/cap. vokser med $1000, øges hvert lands gennemsnitlige tillid med 0,14

På landeniveau er den uforklarede varians faldet markant fra 11,9 til 4,3

&rarr; ca. 64 % af gruppe-variansen kan forklares vha. BNP

`$\frac{11.9-4.3}{11.9}≈0,64$`

]

.right-column[

]

???

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**
---

# 4. Tilføj evt. **varying slopes** for niveau 1-variable

.left-column[

**mixed political_trust woman age unemployed eduyrs GDPcapita1000 || country: eduyrs**

Hvilken uafhængig variabel (og fra hvilket niveau) er specificeret med **varying slopes**?

Hvad vil det sige?

Hvad kan vi sige om dens effekt på tillid?

]

.right-column[

]

???

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

---

# Ekskurs: Hvad er varying slopes?

- Normalt identificeres den (fixed) effekt, `$\beta$`, som passer bedst til hele datasættet

- der kan godt tages højde for gruppeforskelle, men der findes altså kun **én enkelt effekt, som gælder for alle grupper**

- Sommetider har vi lyst til at slække på denne antagelse og **beregne forskellige effekter for de forskellige grupper**

- det kalder vi **varying slopes** eller *random effects*

- vi skal have **god (teoretisk) grund** til at tro, at effekten varierer substantielt
    
    - varying slopes skal medføre en statistisk signifikans **forbedring af modellens forklaringskraft**, jf. Statas **lrtest**

- Stata præsenterer os for **gennemsnittet af de forskellige effekter**, som vi så kan tolke på

- Man kan sagtens lave en god multilevel-analyse uden varying slopes

---

# 4. Tilføj evt. **varying slopes** for niveau 1-variable

.left-column[

Vi har tilføjet varying slopes for **uddannelse** (niveau 1)

Vi mener, at uddannelse kan påvirke tillid fundamentalt forskelligt i forskellige lande. Derfor beregner vi effekten indenfor alle lande. Koefficienten for *eduyrs* er **gennemsnitseffekten**

Når individets uddannelses-niveau vokser med +1, øges tilliden *gennemsnitligt set* med **0,086**

]

.right-column[

]

???

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**
---

# 5. Tilføj evt. **interaktion**

.left-column[

**mixed political_trust woman unemployed eduyrs GDPcapita1000 i.Nordic##c.age || country:** // OBS! Ingen varying slopes for *age*, som Carolin anbefalede?

Er det en alm. same-level eller en cross-level interaktion?
 
Er effekten af alder betinget af, om landet er nordisk?
 
]

.right-column[

]

???

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

---

# 5. Tilføj evt. **interaktion**

.left-column[

Er det en alm. same-level eller en cross-level interaktion?

*Cross-level! Nordic er en dummy, der angiver om landet (gruppen) er et af de nordiske lande* 
 
Er effekten af alder betinget af, om landet er nordisk?

*Ja! Effekten af alder er -0,0262 mindre i nordiske lande (p=0,000) &rarr; og den er 0,0098 i ikke-nordiske lande*

]

.right-column[

]

???
**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

---

# 5. Tilføj evt. **interaktion**

.left-column[

Er det en alm. same-level eller en cross-level interaktion?

*Cross-level! Nordic er en dummy, der angiver om landet (gruppen) er et af de nordiske lande* 
 
Er effekten af alder betinget af, om landet er nordisk?

*Ja! Effekten af alder er -0,0262 mindre i nordiske lande (p=0,000) - og den er 0,0097 i ikke-nordiske lande*

]

.right-column[

]

???

**Eksempel fra Mehmetoglu & Jakobsen, 2016, pp. 201ff**

---
class: middle, inverse

# Tre ekstra-ting

1. Udvidelser

2. Antagelser

3. Data

---
class: inverse

# Udvidelser

1. **Logistisk multilevel regression (logit)** &rarr; brug det kun, hvis det er nødvendigt

2. **Multilevel-model med tre niveauer** &rarr; brug det kun, hvis det er nødvendigt

3. **Cross-classified multilevel-model**
    - ikke en klar hierarkisk struktur, fx individer indlejret i sideordnede kontekster
    - &rarr; brug det kun, hvis det er nødvendigt

---
class: inverse

# Antagelser

- **Ikke pensum!** - men problematikken kan eventuelt nævnes

- I princippet samme antagelser som OLS - *gange to*
    
    - linearitet, uafhængige obs., homoskedasticitet, normalfordelte fejlled etc. skal i princippet være opfyldt på hvert niveau
    
    - det meste er svært-til-umuligt at teste

???

*Multikollinearitet* &rarr; tjek evt. med VIF efter alm. OLS

*Indflydelsesrige outliers* &rarr; tjek evt. grafisk for niveau 2; er der lande med meget ekstreme værdier?

---
class: inverse
    
# Data

- **Data-tilgængelighed** er en fordel ved multilevel-analyse - i hvert fald med *individer* inden for *lande*

- Mange supergode **multinationale survey-datasæt** frit tilgængelige
    - fx [European Social Survey](https://www.europeansocialsurvey.org/data/) og [World Values Survey](https://www.worldvaluessurvey.org/WVSContents.jsp)

- Komparative **landedata** også frit tilgængelige, bl.a. hos EU, Verdensbanken og OECD

- Rig mulighed for *replikationsstudier*

- **Hvordan merger man individdata med landedata i Stata?**
    - Jeg lovede Carolin at vise dette 
    - Samme fremgangsmåde uanset data; det afgørende er at have **en variabel, der går helt nøjagtigt igen** i begge datasæt
    - Eksempel (do-fil kommer på Absalon) &rarr;

---
class: inverse

## Hvordan man merger individdata med landedata: *do-fil*

---
class: inverse

## Hvordan man merger individdata med landedata: *resultat*

---
class: center, middle, middle
background-color: #FEFFA2

# Øvelsesopgaver i Stata

---
background-color: #FEFFA2

# Dagens pointer

- Multilevel-analyse er smart, når vi har hierarkiske data og vil undersøge **effekten af konteksten (niveau 2) på et niveau 1-outcome**

- Det fungerer (bl.a.) ved at **opdele variansen** på gruppe- og individniveau og ved automatisk at **justere standardfejl**

- Ofte følger man en **fast fremgangsmåde** med trinvis tilføjelse af uafhængige variable - begyndende fra en tom **Null-model**

- Der er mange muligheder og mulige udvidelser, fx tilføjelse af **varying slopes** eller **(cross-level) interaktioner**

- Er man ikke substantielt interesseret i niveau 2, kan man dog komme langt med OLS

***

**Vi har haft 4/6 holdtimer &rarr; Er der noget, der kunne være bedre eller fungerer godt?**

- Plz skriv på [sdas@ifs.ku.dk](mailto:sdas@ifs.ku.dk)

---
background-color: #FEFFA2

# Næste gang

.pull-left[

- Vi starter på fire uger med **kausal inferens**
    
    - begynder at tage kausalitetsspørgsmålet alvorligt frem for blot at antage "effekter" for eksemplernes skyld
    
- Næste uge

- **Kausal inferens I: Kausal inferens og instrumentvariable**

- ingen holdtime
    
    - derefter **PÅSKEFERIE**
    
- Vi ses igen efter påske til Kausal inferens II: Paneldata

]

.pull-right[

]

---
class: center, middle
background-color: #FEFFA2

# Tak for i dag!